Рисунок 1 – Структура нейронной сети прямого распространения
Авторы: Ф.А. Львов
Источник: Журнал "Кронос: естественные и технические науки
ТИПЫ И ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ
Львов Федор Алексеевич магистр, МГТУ имени Н.Э. Баумана
121108, г. Москва, Рублёвское шоссе, д.5
TYPES AND APPLICATIONS OF NEURAL NETWORKS
Fedor Lvov Bauman Moscow State Technical University
Аннотация. В статье рассмотрены типы нейронных сетей, а именно: нейронная сеть прямого распространения, сеть радиально-базисных функ-ций, самоорганизующаяся сеть Кохонена, рекуррентная нейронная сеть, свёрточная нейронная сеть, модульная нейронная сеть. Также рассмотрены способы применения данных сетей.
Abstract. The article describes the types of neural networks, namely: feed-forward neural network, radial basis function neural network, Kohonen self-or-ganizing neural network, recurrent neural network, convolutional neural network, modular neural network. The article also describes how to use these networks.
Ключевыеслова:Нейронные сети, типы,применение,слои, информа-ция.
Key words: Neural networks, types, applications, layers, information.
Ввведение
Искусственные нейронные сети - это вычислительные модели, которые работают аналогично функционированию нервной системы человека. Су-ществует несколько видов искусственных нейронных сетей. Эти типы сетей реализуются на основе математических операций и набора параметров, не-обходимых для определения выходных данных. Рассмотрим некоторые из нейронных сетей.
В этой сети (см. рис. 1) информация перемещается только в одном направлении вперед от входных узлов (крайний левый ряд), через скрытые узлы (средние ряд или ряды, если есть) и к выходным узлам (крайний пра-вый ряд). В сети нет циклов или петель.
Рисунок 1 – Структура нейронной сети прямого распространения
Данные проходят через входные узлы и выходят на выходных узлах. Эта нейронная сеть может иметь или не иметь скрытые слои.
Применение нейронных сетей прямого распространения встречается в компьютерном зрении и распознавании речи, где сложно классифицировать целевые классы. Такого рода нейронные сети реагируют на шумные данные и просты в обслуживании.
Радиальные базовые функции (Radial basic functions – RBF, см. рис. 2) учитывают расстояние от точки до центра. Функции RBF имеют два уровня: первый, где элементы объединяются с функцией радиального базиса на внутреннем уровне, и второй, где выходные данные этих элементов учиты-ваются при вычислении того же результата на следующем временном шаге, который в основном представляет собой память.
Рисунок 2 – Структура нейронной сети радиально-базисных функций
Эта нейронная сеть была применена в системах восстановления энер-гии. Силовые системы увеличились в размерах и сложности. Эти факторы увеличивают риск серьезных сбоев в электроэнергии. После отключения электричестванеобходимо восстановитьего как можно быстрееи надежнее.
Целью сети Кохонена является ввод векторов произвольной размерно-сти в дискретную карту, состоящую из нейронов. Карта должна быть обу-чена для создания собственной организации тренировочных данных. Она состоит из одного или двух измерений. При обучении сети местоположение нейрона остается постоянным, но веса различаются в зависимости от значе-ния. Этот процесс самоорганизации состоит из разных частей: на первом этапе каждое значение нейрона инициализируется с небольшим весом и входным вектором (на рисунке 3 круглыми фигурами обозначаются нейроны, квадратными - данные).
Рисунок 3 – Исходная структура
На втором этапе выбирается одна из точек данных (рисунок 4), нахо-дится ближайший к точке нейрон (рисунок 5) и данный нейрон двигается к выбранной точке данных (Рисунок 6).
Рисунок 4 – Выбор точки данных
Рисунок 5 – Определение ближайшего к точке нейрона
Рисунок 6 – сдвиг нейрона ближе к точке данных
Ближайший к точке нейрон - это «выигрышный нейрон», и нейроны, подключенные к выигрышномунейрону, также будут двигаться к точке, как показано на рисунке 7 ниже.
Рисунок 7 – сдвиг соседних нейронов ближе к точке данных
Расстояние между точкой и нейронами рассчитывается по евклидову расстоянию, выигрывает нейрон с наименьшим расстоянием. В ходе итера-ций все точки кластеризуются, и каждый нейрон представляет каждый вид кластера. Это суть организации нейронной сети Кохонена.
Нейронная сеть Кохонена используется для распознавания закономер-ностей в данных. Его применение можно найти в медицинском анализе, чтобы объединить данные в разные категории. Карта Кохонена могла клас-сифицировать пациентов, имеющих клубочковые или трубчатые протеину-рии с высокой точностью.
Рекуррентная нейронная сеть работает по принципу сохранения выход-ных данных слоя и передачи их обратно на входные данные, чтобы помочь в прогнозировании результата слоя.
Первый слой формируется аналогично нейронной сети с прямой свя-зью. Повторяющийся процесс нейронной сети начинается после того, как все вычисления пройдены. Это означает, что от одного временного шага к следующему каждый нейрон будет помнить некоторую информацию, кото-рую он имел в предыдущем временном шаге. Это заставляет каждый нейрон действовать как ячейка памяти при выполнении вычислений. В этом про-цессе нужно позволить нейронной сети работать в режиме прямого распро-странения и помнить, какая информация ей нужна для дальнейшего исполь-зования. В данной нейросети, если прогноз неверен, используются методы исправления ошибок, чтобы внести небольшие изменения для приведения нейросети к правильному прогнозу во время работы в режиме обратного распространения. Базовая рекуррентная нейронная сеть изображена на ри-сунке 8.
Рисунок 8 – Рекуррентная нейронная сеть
Применение рекуррентных нейронных сетей можно найти в моделях преобразования текста в речь и в моделях обработки видео.
Свёрточные нейронные сети (СНС) - одни из самых влиятельных инно-ваций в области компьютерного зрения.
СНС состоит из разных видов слоев: сверточные (convolutional) слои, субдискретизирующие (subsampling, подвыборка) слои и слои «обычной» нейронной сети – персептрона, в соответствии с рисунком 9.
Рисунок 9 – Свёрточная нейронная сеть
Первые два типа слоев (convolutional, subsampling), чередуясь между собой, формируют входной вектор признаков для многослойного персеп-трона.
СНС могут быстро работать на последовательной машине и быстро обучаться за счет распараллеливания процесса свертки по каждой карте, а также обратной свертки при распространении ошибки по сети.
Сегодня СНС лежит в основе услуг многих компаний: Facebook ис-пользует нейронные сети для алгоритмов автоматического проставления те-гов, Google — для поиска среди фотографий пользователя, Amazon — для генерации рекомендаций товаров, Pinterest — для персонализации домаш-ней страницы пользователя, а Instagram — для поисковой инфраструктуры.
Модульные нейронные сети имеют коллекцию различных сетей, рабо-тающих независимо и способствующих получению результата. Каждая нейронная сеть имеет набор входных данных, которые уникальны по срав-нению с другими сетями. Эти сети не взаимодействуют и не сигнализируют друг другу при выполнении задач. Преимущество модульной нейронной сети состоит в том, что она разбивает большой вычислительный процесс на более мелкие компоненты, уменьшая сложность. Такое разделение поможет уменьшить количество соединений и свести на нет взаимодействие этих се-тей друг с другом, что, в свою очередь, увеличит скорость вычислений. Од-нако время обработки будет зависеть от количества нейронов и их участия в вычислении результатов.
Ниже на рисунке 10 приведено визуальное представление,
Рисунок 10 - Модульная нейронная сеть
Модульные нейронные сети - это быстро развивающаяся область в ис-следовании искусственных нейронных сетей. Данные сети используются, например, для улучшения классификации спутниковых снимков или для си-стем подбора персонала.
Заключение
В данной статье были рассмотрены 6 типов нейронных сетей, их топо-логия и область применения. Исходя из выше изложенных данных можно прийти к выводу, что нет универсального типа нейронной сети и необхо-димо тщательной подбирать нужную нейронную сеть в зависимости от ис-ходной задачи.
Список литературы: